Vợ ông là Nhà giáo Văn Thị Xuân Hương, em gái Giáo sư Văn Như Cương [6].

Các con ông đều thành đạt trong khoa học: Con gái ông, phó giáo sư tiến sĩ Phan Thị Hà Dương, từng giành được Huy chương Đồng Olympic Toán quốc tế năm 1990, được Đại học Paris 7 trao " Maître de conférence" khi mới 26 tuổi - một học vị cao hơn tiến sĩ tại Pháp[cần dẫn nguồn] hiện đang công tác tại Viện Toán học (Việt Nam)[7]. Con trai ông, Phan Dương Hiệu là tiến sĩ về bảo mật của trường Ecole Normale Supérieure Paris, hiện đang giảng dạy tại đại học Limoges Pháp. Con gái thứ 2 của ông - Phan Thị Quỳnh Dương hiện đang định cư tại Pháp.

Ông mất tại nhà riêng ngày 13 tháng 5 năm 2018.[8] sau hơn một năm điều trị sau khi bị đột quỵ